# 데이터 품질 개선 (Data Quality Improvement)

## 개요

**데이터 품질 개선(Data Quality Improvement)**은 데이터의 정확성, 일관성, 완전성, 적시성 및 신뢰성을 높이기 위해 수행되는 체계적인 프로세스입니다. 현대 데이터 과학 및 비즈니스 인텔리전스(BI) 환경에서 '쓰레기 입력, 쓰레기 출력(Garbage In, Garbage Out)'은 여전히 유효한 원칙으로, 원본 데이터의 품질이 분석 결과와 머신러닝 모델의 성능을 결정짓는 가장 중요한 요소 중 하나입니다.

데이터 품질 개선은 단순히 오류를 수정하는 것을 넘어, 데이터 수집부터 저장, 처리, 활용까지 전 주기에 걸쳐 데이터의 가치를 극대화하기 위한 전략적 활동을 포함합니다. 본 문서에서는 데이터 품질의 핵심 차원, 개선의 주요 기법, 그리고 현대적인 데이터 정제(Data Cleansing) 프로세스에 대해 상세히 다룹니다.

## 데이터 품질의 핵심 차원

데이터 품질을 평가하고 개선하기 위해서는 먼저 품질의 기준이 되는 차원(Dimensions)을 명확히 정의해야 합니다. 일반적으로 다음과 같은 6가지 핵심 차원이 사용됩니다.

1.  **정확성 (Accuracy)**: 데이터가 실제 현상이나 참값(True Value)을 얼마나 정확하게 반영하는지 나타냅니다. 예를 들어, 고객의 나이가 실제 생년월일과 일치해야 합니다.
2.  **일관성 (Consistency)**: 서로 다른 데이터 소스나 시스템 간에 데이터가 모순 없이 일치하는지 확인합니다. CRM 시스템과 재무 시스템의 고객 ID가 동일해야 하는 것이 예시입니다.
3.  **완전성 (Completeness)**: 필요한 데이터 필드가 누락 없이 모두 채워져 있는지 확인합니다. NULL 값이나 빈 문자열이 허용 가능한 범위 내에 있는지 평가합니다.
4.  **적시성 (Timeliness)**: 데이터가 요구되는 시점에 사용 가능한지 나타냅니다. 실시간 대시보드의 경우 데이터 지연 시간이 품질 지표가 됩니다.
5.  **유일성 (Uniqueness)**: 데이터 레코드 간 중복이 없는지 확인합니다. 동일한 고객을 여러 번 등록하는 중복 문제는 분석 결과를 왜곡시킵니다.
6.  **유효성 (Validity)**: 데이터가 정의된 형식, 유형, 범위 및 관련 비즈니스 규칙을 준수하는지 확인합니다. 이메일 주소 형식이나 날짜 형식 등이 해당됩니다.

## 데이터 품질 개선의 주요 기법

데이터 품질을 개선하기 위해 적용되는 기술적 기법들은 주로 **데이터 정제(Data Cleansing)** 및 **데이터 표준화(Data Standardization)** 영역에 속합니다.

### 1. 결측치 처리 (Missing Value Handling)
데이터의 일부가 누락된 경우, 이를 적절히 처리하지 않으면 분석 편향이 발생할 수 있습니다.
*   **제거 (Deletion)**: 결측치가 전체 데이터의 매우 작은 비율을 차지할 경우 해당 행이나 열을 삭제합니다.
*   **채우기 (Imputation)**: 평균, 중앙값, 최빈값으로 채우거나, K-최근접 이웃(KNN) 등 머신러닝 기반 예측 모델을 사용하여 결측치를 추정합니다.
*   **유지 (Keeping)**: 결측치 자체가 중요한 정보(예: 응답 거부)일 경우 별도의 카테고리('Unknown')로 처리합니다.

### 2. 이상치 탐지 및 처리 (Outlier Detection and Treatment)
데이터 분포에서 현저히 벗어난 값을 식별하고 처리합니다.
*   **통계적 방법**: Z-score, IQR(사분위 범위) 등을 사용하여 통계적으로 유의미한 이상치를 탐지합니다.
*   **시각적 방법**: 상자 그림(Box Plot)이나 산점도를 통해 시각적으로 이상치를 확인합니다.
*   **처리 전략**: 이상치를 제거하거나, winsorization(양끝값을 특정 백분위수로 잘라내기) 기법을 적용하여 영향력을 줄입니다.

### 3. 데이터 표준화 및 정규화 (Standardization and Normalization)
서로 다른 형식으로 저장된 데이터를 일관된 형식으로 변환합니다.
*   **문자열 정제**: 공백 제거, 대소문자 통일, 특수문자 제거 등.
*   **숫자 변환**: 단위 통일(예: 달러/원), 스케일 조정(Min-Max Scaling, Z-score Normalization)을 통해 알고리즘의 수렴 속도를 높이고 비교 가능성을 확보합니다.

### 4. 중복 제거 (Deduplication)
키(Key) 기반 매칭 또는 유사도 알고리즘(예: Jaccard Similarity, Levenshtein Distance)을 사용하여 동일한 실체를 나타내는 중복 레코드를 식별하고 병합합니다.

## 데이터 품질 관리 프로세스

효과적인 데이터 품질 개선을 위해서는 일회성 작업이 아닌 지속적인 관리 프로세스가 필요합니다.

1.  **평가 (Assessment)**: 현재 데이터의 품질 수준을 측정하고 문제점을 식별합니다. 데이터 프로파일링(Data Profiling) 도구를 활용하여 분포, 빈도, 패턴 등을 분석합니다.
2.  **계획 (Planning)**: 식별된 문제의 우선순위를 정하고, 개선 목표(KPI)를 설정합니다.
3.  **수행 (Execution)**: 위에서 언급한 정제 기법을 적용하여 데이터를 수정합니다. 이 과정은 ETL(Extract, Transform, Load) 파이프라인의 일부로 자동화되는 경우가 많습니다.
4.  **모니터링 (Monitoring)**: 개선된 데이터의 품질을 지속적으로 모니터링하고, 새로운 데이터 유입 시 품질 규칙을 적용하여 품질 저하를 방지합니다.

## 관련 도구 및 기술

데이터 품질 개선에는 다양한 소프트웨어 도구와 라이브러리가 활용됩니다.

*   **Python 라이브러리**: `pandas` (데이터 조작 및 정제), `numpy` (수치 계산), `scikit-learn` (이상치 탐지 및 전처리), `Great Expectations` (데이터 검증 프레임워크).
*   **상용 ETL 도구**: Informatica, Talend, Apache NiFi 등.
*   **데이터 품질 모니터링 플랫폼**: Monte Carlo, Datafold 등.

## 결론

데이터 품질 개선은 데이터 과학 프로젝트의 성패를 좌우하는 핵심 단계입니다. 초기 단계에서 철저한 데이터 품질 관리와 정제 과정을 거침으로써, 이후의 탐색적 데이터 분석(EDA), 모델링, 그리고 비즈니스 의사결정의 신뢰성을 크게 높일 수 있습니다. 조직은 기술적 도구뿐만 아니라 데이터 거버넌스(Data Governance) 문화를 정착시켜, 데이터 품질을 지속 가능한 자산으로 관리해야 합니다.

## 참고 자료 및 관련 문서

*   [데이터 정제 (Data Cleansing)]
*   [데이터 전처리 (Data Preprocessing)]
*   [데이터 거버넌스 (Data Governance)]
*   [ETL 프로세스](https://ko.wikipedia.org/wiki/ETL)
*   *Wang, R. Y., et al. "Toward a theory of data quality." ACM Computing Surveys (CSUR) 35.2 (2003): 103-136.*